事后重新标记已成为多进球增强学习(RL)的基础技术。这个想法非常简单:任何任意轨迹都可以看作是达到轨迹最终状态的专家演示。直观地,此程序训练了一个目标条件政策,以模仿次优的专家。但是,模仿与事后重新标签之间的这种联系尚不清楚。现代模仿学习算法是用Divergence最小化的语言描述的,但仍然是一个开放的问题。在这项工作中,我们开发了一个统一的目标,以解释这种联系,从中我们可以从中获得目标条件的监督学习(GCSL)和奖励功能,并从第一原则中获得了事后见解体验重播(她)。在实验上,我们发现,尽管目标条件行为克隆(BC)最近取得了进步,但多进球Q学习仍然可以超越BC样方法。此外,两者的香草组合实际上都损害了模型性能。在我们的框架下,我们研究何时期望卑诗省提供帮助,并从经验上验证我们的发现。我们的工作进一步桥接了目标的目标和生成建模,说明了将生成模型成功扩展到RL的细微差别和新途径。
translated by 谷歌翻译